Симулятор алгоритма BPE

Корпус: «eat eats eated». Шаг 1 — убираем пробелы, раскладываем на отдельные символы. Далее BPE находит самую частую пару и объединяет её в новый токен.

Пары символов Частота